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摘 要 在 现实 生活 中 ， 有 效 的 情绪 识别 往往 依赖 于 不 同 通道 间 的 信息 整合 (如 , 面孔、 声音 )。 本 文 梳理 相关 
研究 认为 ,面孔 表情 和 声音 情绪 信息 在 早期 知觉 阶段 即 产 生 交 互 作用 ， 且 初级 感知 党 皮层 负责 两 者 信息 的 编 
码 ; 而 在 晚期 决策 阶段 ， 查 仁 核 、 矣 叶 等 高 级 脑 区 完成 对 情绪 信息 内 容 的 认 知 评估 整合 ; 此 外 ,神经 振荡 活动 
在 多 个 频段 上 的 功能 耦合 促进 了 跨 通道 情绪 信息 整合 。 未 来 研究 需要 进一步 探究 两 者 整合 是 否 与 情绪 冲突 有 
关 ， 以 及 不 一 致 的 情绪 信息 在 整合 中 是 否 有 优势 ， 探 明 不 同 频段 的 神经 振荡 如 何 促进 面孔 表情 和 声音 情绪 信 
息 整合 ， 以 便 更 深入 地 了 解 面孔 表情 和 声音 情绪 信息 整合 的 神经 动力 学 基础 。 
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1 5l a Mathiak, 2011; Mileva, Tompkinson, Watt, & 
Burton, 2018; Muller, Cieslik, Turetsky, & Eickhoff, 
2012; Pourtois, de Gelder, Vroomen, Rossion, & 
Crommelinck, 2000); 另 一 方面 ， 比 较 单 通道 与 双 
通道 的 情绪 信息 处 理 效率 (Jessen & Kotz, 2011; 
Kreifelts, Ethofer, Grodd, Erb, & Wildgruber, 2007)。 
早期 行为 结果 表明 ,面孔 表情 和 声音 情绪 信息 
在 面对面 的 互动 中 形成 统一 而 连贯 的 感知 对 象 。 ”个体 对 情绪 信息 识别 的 反应 更 快 ， 准 确 率 更 高 
(de Gelder & Vroomen, 2000)。 研 究 发 现 ,大 脑 能 具有 促进 作用 ( 张 亮 , 孙 向 红 , FAL, 2009; de Gelder 
日 动 地 完成 这 一 过 程 (Chen, Han, Pan, Luo, & Wang, & Vroomen, 2000; Klasen et al., 2012; Schelenz et al., 


2016; Chen, Pan, et al., 2016; Chen, Pan, Wang, Zhang, 2013) ,此 外 , 一致 的 面孔 表情 和 情绪 性 声音 能 够 促 
& Yuan, 2015), 从 而 优化 信息 处 理 , 减少 不 确定 性 进 情绪 识别 (Campanella & Belin, 2007; Klasen, 


(Doi & Shinohara, 2015; Kuhn, Wydell, Lavan, reifelts, Chen, Seubert, & Mathiak, 2014)。 近 年 来 ， 
McGettigan, & Garrido, 2017; Noy et al., 2017). 量 研究 借助 事件 相关 


在 日 常 交 流 中 , 个 体 需 要 有 效 识 别 对 话 者 情 
绪 表 达 的 变化 ， 以 便 快 速 做 出 反应 (Van Kleef, 
2009)。 人 情绪 信息 通过 多 个 感觉 通道 进行 表达 ， 特 
别 是 面孔 表情 和 声音 (Campanella & Belin，2007; 
Klasen, Chen, & Mathiak, 2012)。 因 此 , 个 体 需 要 


电位 (event-related potential, 


有 关 双 通道 情绪 性 信息 , 尤其 是 面孔 表情 和 ERP). 、 功 能 性 磁 共 振 成 像 (functional magnetic 


声音 情绪 信息 整合 的 研究 ， 主 要 从 以 下 两 方面 进 resonance imaging，fMRD 等 认 知 神经 科学 技术 考 


行 考察 ; 一 方面 ， 比 较 双 通道 情绪 性 信息 在 一 至。 察 面孔 表情 和 声音 情绪 信息 整合 加 工 的 认 知 过 程 


和 不 一 致 的 条 件 下 ， 是 否 存在 情绪 信息 的 一 致 性 。。 和 神经 机 制 。 并 且 提出 双 通道 信息 整合 应 当 满足 
促进 作用 (Klasen, Kenworthy, Mathiak, Kircher, & 这 些 标准 : 首先 ， 相 对 于 单 通道 感知 情绪 信息 ， 双 

通道 情绪 信息 同时 加 工时 具有 一 定 的 优势 ; 其 次 ， 
收 稿 日 期 : 2018-05-17 具有 超 加 性 ， 面 孔 表 情 和 声音 的 双 通 道 情 绪 信 息 
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也 可 整合 成 为 一 致 情绪 客体 ， 如 AV > [unimodal 
auditory (A) + unimodal visual (V)]， 或 理解 为 1 + 
1 > 2; 再 次 ,遵循 颠倒 效应 规则 (the principal of 
inverse effectiveness), 参与 整合 的 单 通道 传递 信 
息 较 为 模糊 , 或 是 双 通 道 信 息 都 较为 模糊 时 ， 整 
合 效 应 更 为 显著 (Stein & Stanford, 2008; Stein, 
Stanford, Ramachandran, Perrault, & Rowland, 
2009; 王 革 , 潘 治 辉 ， 张 立 洁 ， 陈 网 海 , 2015). 

本 文 根 据 实验 技术 手段 ERP、EEG、MEG、 
fMRD) 对 认 知 神经 科学 研究 的 结果 进行 梳理 ， 以 
揭示 面孔 表情 和 声音 情绪 信息 整合 加 工 的 脑 机 制 ， 
进一步 提出 未 来 研究 中 值得 关注 的 问题 。 


2 面孔 表情 和 声音 情绪 信息 整合 的 电 
生理 学 研究 


电 生 理 测量 如 脑 电 图 (ERP 、EEG) 和 脑 磁 图 
(MEG) 等 技术 由 于 其 高 时 间 分 辩 率 的 优势 ， 有 助 
于 解决 面孔 表情 和 声音 情绪 信息 整合 加 工 的 时 间 
进程 这 一 问题 。 本 文 将 根据 时 间 进 程 ,逐步 阐述 
这 一 整合 加 工 的 变化 过 程 。 

2.1 面孔 表情 和 声音 情绪 信息 整合 的 ERP 研究 

面孔 表情 和 声音 情绪 信息 的 整合 在 100 ms 左 
右 就 已 经 开始 ,情绪 一 致 的 面孔 表情 和 声音 比 不 
一 致 的 情绪 刺激 诱发 了 波幅 更 大 的 N100 
(Pourtois et al., 2000)。 大 量 研 究 同 时 发 现 , 面孔 表 
情 和 声音 情绪 性 信息 在 类 似 的 时 间 窗 口 出 现 了 交 
互 效应 Knowland, Mercure, Karmiloff-Smith, Dick, 
& Thomas, 2014; Romero, Senkowski, & Keil, 2015; 
van Wassenhove, Grant, & Poeppel, 2005), #244 ih 
孔 表 情 和 声音 的 情绪 信息 在 早期 就 进行 了 知觉 编 
码 。 此 外 ,与 单 通道 呈现 面孔 或 声音 刺激 相 比 ， 双 
通道 的 面孔 表情 和 声音 情绪 诱发 了 波幅 更 小 的 
N1 (Jessen & Kotz, 2011; Kokinous, Kotz, Tavano, 
& Schroger, 201$)。 进 一 步 研 究 发 现 ,即使 以 更 复 
杂 的 呈现 方式 (声音 、 面 部 表情 和 身体 姿势 )， 双 通 
道 的 情绪 信息 均 比 单 通道 条 件 下 诱发 更 小 的 N1 
波幅 (Yeh, Geangu, & Reid, 2016)。 这 可 能 表明 不 
同 通道 的 情绪 信息 存在 相互 作用 , 整合 发 生 在 多 
个 加 工 层 次 ， 即 在 感官 、 认 知 和 反应 选择 层面 。 
总 之 ,面孔 表情 和 声音 情绪 信息 整合 在 100 ms 左 
右 就 已 经 开始 。 

亦 有 电 生 理 研 究 表明 ,P2 波幅 的 变化 是 双 通 
道中 情绪 信息 宛 余 Cedundant) 、 一 致 (coherenb、 


4 4 (convergent) 处 理 的 相关 指标 (Balconi & 
Carrera, 2011; Ho, Schroger, & Kotz, 2015), P2 出 现 
在 刺激 后 约 200 ms, 不一致 的 面孔 表情 和 声音 情 
绪 刺 激 诱发 更 小 的 P2 波幅 (Pourtois，Debatisse， 
Despland, & de Gelder, 2002)。 具 体 表现 为 ， 当 司 
翁 面 筷 与 中 性 声音 同时 呈现 时 , P2 波幅 减 小 ; H 
中 性 面孔 与 愤怒 的 声音 相 结 合 使 P2 的 波幅 最 小 
(Balconi & Carrera, 2011; Ho et al., 201$)。 另 有 Doi 
和 Shinohara (2015) 的 研究 表明 , 通过 连续 的 闪光 
抑制 方式 ， 将 高 兴 、 慌 惧 和 中 性 的 面孔 在 浆 下 呈 
现 给 被 试 ， 同 时 播放 快乐 .恐惧 的 声音 ， 要 求 被 试 
根据 声音 线索 完成 情绪 识别 任务 。 结 果 发 现 , 枕 
里 区 的 P2 受 面 孔 和 声音 的 交互 调节 ,在 高 兴 面 孔 
- 笑 声 组 合 和 中 性 面孔 - 笑 声 组 合 中 ,P2 的 波幅 没 
有 显著 差异 ， 而 疏 惧 面孔 和 笑 声 组 合 诱发 P2 波幅 
显著 小 于 中 性 面孔 与 笑 声 组 合 刺激 。 进 一 步 表 明 
在 情绪 不 一 致 情况 时 ， 阔 下 呈现 的 恐惧 面孔 也 能 
促进 对 笑 声 的 加 工 。 但 是 也 有 研究 发 现 ,， 仅 在 情 
绪 一 致 的 条 件 下 ,面孔 表情 才能 促进 对 声音 情绪 
的 识别 (Collignon et al., 2008; Focker, Gondan, & 
Roder, 2011; Zinchenko, Obermeier, Kanske, Schroger, 
& Kotz, 2017), 所 以 有 必要 进一步 探 明 在 双 通 
道 条 件 下 ,不 一 致 情绪 刺激 对 情绪 识别 是 否 也 
具有 促进 作用 。 

Paulmann，Jessen 和 Kotz (2009) 采 用 身份 识 
别 任务 , 直接 对 比 单 通道 和 视听 结合 情绪 刺激 ， 
发 现 面孔 表情 和 声音 情绪 刺激 诱发 更 小 P2 波幅 。 
另 有 研究 发 现 ,情绪 强度 也 调节 双 通 道 情绪 信息 
整合 ,在 低 强度 条 件 下 , 愤怒 面孔 表情 和 声音 情 
绪 一 致 的 刺激 诱发 的 P2 波幅 显著 大 于 单 通道 愤 
既 面 孔 或 声音 刺激 (Pan, Liu, Luo, & Chen, 2017)。 
P2 虽然 是 对 情绪 刺激 进行 快速 检测 的 重要 指标 ， 
但 其 在 面孔 表情 和 声音 情绪 信息 整合 加 工 过 程 中 
的 作用 更 要 复杂 一 些 (Balconi & Carrera, 2011; Ho 
et al., 2015; Huang et al., 2012; Klasen et al., 
2011)。 综 上 可 见 ， 被 试 在 同时 注意 面孔 表情 和 声 
音 情绪 信息 的 条 件 下 ， 面 孔 表情 可 以 影响 大 脑 对 
声音 情绪 信息 的 加 工 , 即使 在 包 略 面孔 刺激 (在 阔 
下 或 视觉 皮层 受 损 的 患者 中 呈现 ) 时 ， 也 能 影响 声 
音 情 绪 信息 的 知觉 。 这 表明 , 在 面孔 表情 和 声音 
信息 呈现 200 ms 内 ， 是 对 情绪 刺激 低 水 平 的 视觉 
特征 进行 整合 加 工 。 

有 关 面 孔 表情 和 声音 情绪 信息 整合 的 研究 发 
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现 ， 当 情绪 刺激 呈现 400 ms, AIT RMS h 
现 一 个 特异 性 负 波 一 一 N400, 这 与 情绪 信息 的 分 
类 、 评 估 等 精细 加 工 有 关 (Campanella et al., 2010; 
Liu, Rigoulot, & Pell, 2015; Paulmann et al., 2009; 
Proverbio & De Benedetto, 2018)。 其 反映 了 在 晚期 
时 间 窗 口内 ,面孔 表情 和 声音 情绪 信息 整合 发 生 
了 质 的 变化 (Cuthbert, Schupp, Bradley, Birbaumer, 
& Lang, 2000; Hernandez-Gutierrez et al., 2018; 
Olofsson & Polich, 2007; Schupp et al., 2007). 
Paulmann 和 Pell (2010a) 运 用 启动 范式 ， 发 现 不 一 
致 面孔 表情 和 声音 情绪 刺激 可 诱发 典型 的 N400， 
FL N400 波幅 受 刺激 呈现 时 间 长 短 的 调节 。 他 们 
的 另 一 项 研究 采用 情绪 Stroop 任务 ， 比 较 不 同文 
化 群体 在 面孔 表情 和 声音 情绪 整合 时 的 异同 ， 要 
求 被 试 在 情绪 一 致 或 者 不 一 致 的 条 件 下 ， 忽 略 另 
种 通道 信息 ， 仅 判断 其 中 一 个 通道 的 情绪 类 
WY, SERB, 情绪 不 一 致 的 面孔 表情 和 声音 准 
MARAR, 诱发 更 大 的 N400 波幅 ,也 出 现 群 体 性 
差异 (Liu et al., 2015)。 以 上 研究 中 , N400 不 但 可 
区 分 情绪 与 中 性 刺激 ， 而 且 能 辨别 不 同类 型 的 
情绪 ， 体 现 了 晚期 加 工 阶段 大 脑 对 情绪 信息 的 精 
细 加 工 (Proverbio & De Benedetto, 2018; Strelnikov, 
Foxton, Marx, & Barone, 2015). 

综 上 所 述 , 面孔 表情 和 声音 情绪 信息 在 刺激 
呈现 的 200 ms 内 已 经 进行 整合 , 但 整合 时 间 随 实 
验 任务 不 同 而 延伸 ,在 200 ms 后 很 长 一 段 时 间 内 
都 能 发 生 整 合 。 且 在 神经 电 生 理 层 面 ， 以 更 严格 
的 整合 ( 超 加 性 效应 和 颠倒 效应 规则 ) 标 准 ， 发 现 
双 通 道 情绪 信息 整合 为 一 致 情绪 客体 的 证 据 。 

2.2 面孔 表情 和 声音 情绪 信息 整合 的 EEG 和 

MEG 研究 

除了 事件 相关 的 脑 电 研究 外 ,一 些 研究 采 
时 频 分 析 来 研究 面孔 表情 和 声音 情绪 信息 整合 
的 神经 振荡 模式 。 从 生态 效 度 来 看 ， 人 际 沟通 
的 情感 表达 是 随 着 时 间 推 移 不 断 发 生变 化 的 。 
此 ,支持 情绪 整合 的 神经 系统 ， 必 须 能 灵活 地 适 
应 并 加 工 来 自 多 通道 快速 变化 的 情绪 信息 。 大 量 
研究 一 致 表明 ,神经 振荡 活动 在 这 一 过 程 中 扮演 
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着 重要 角色 (Gao et al., 2013; Kokinous et al., 2015; 


Simon & Wallace, 2018; Yang & Lin, 2017), FX 
将 梳理 面孔 表情 和 声音 情绪 信息 整合 的 神经 振荡 
的 相位 特征 以 及 脑 区 间 神 经 振荡 的 相干 特征 (是 
对 大 脑 两 个 区 域 同时 记录 到 的 EEG 信 号 中 相同 节 


律 成 分 进行 相位 稳定 性 测量 )， 探 明 其 是 如 何在 神 
经 振荡 层面 进行 整合 的 。 

Theta 振荡 调动 大 脑 和 躯体 资源 来 评估 和 应 
对 情绪 变化 (Chen et al., 2015; Chen, Yang, Gan, & 
Yang, 2012), 在 面孔 表情 和 声音 情绪 信息 整合 过 
程 中 起 关键 的 作用 ,， 且 常 与 情绪 面孔 记忆 有 关 。 
直接 对 比 单 通道 和 双 通 道 旦 现 面孔 表情 和 声音 情 
绪 信 息 的 研究 发 现 ， 双 通道 诱发 了 更 大 的 Theta 
振荡 同步 化 (Chen et al., 2010; Hagan, Woods, 
Johnson, Green, & Young, 2013)。 其 中 Chen, Pan 等 
(2016) 的 研究 表明 ，Theta 振荡 与 双 通道 情绪 信息 
整合 加 工 有 关 的 证 据 。 实 验 者 通过 交叉 剪辑 的 方 
式 将 面孔 表情 和 声音 从 中 性 到 愤怒 配对 变化 随机 
呈现 给 被 坛 ， 有 4 个 实验 条 件 :1) 面 孔 表 情 变 化 , 2) 
声音 情绪 变化 , 3) 面孔 和 声音 情绪 都 变化 ,4) 都 不 
变化 。 被 试 任务 是 忽略 声音 刺激 ， 仅 是 判断 面孔 
情绪 。 结 果 表 明 ,， 所 有 类 型 的 情绪 变化 都 会 促进 
Theta 同步 振荡 ， 即 被 试 可 以 有 效 的 整合 来 自 两 
个 通道 的 信息 , 大脑 对 面孔 情绪 的 判断 受到 同时 
呈现 的 声音 情绪 的 影响 。 在 所 有 的 条 件 下 ， 与 面 
孔 和 声音 单 通道 效应 之 和 相 比 ， 双 通道 同时 加 工 
情绪 信息 诱发 更 大 的 Theta 同步 振荡 ， 表现 出 了 
超 加 性 效应 。 该 效应 与 识别 情绪 变化 的 准确 性 所 
观察 到 的 双 通 道 的 超 加 性 效应 呈正 相关 。 这 表明 
在 检测 情绪 变化 过 程 中 ,面孔 表情 和 声音 情绪 信 
息 整 合 可 能 是 由 Theta 振荡 所 介 导 的 。 值 得 注意 
的 是 Theta 振荡 在 高 级 认 知 皮层 情绪 信息 整合 
作用 ,研究 者 给 被 试 同 时 呈现 恐惧 和 中 性 的 面部 
表情 与 声音 。 结 果 发 现 ,面孔 表情 和 声音 情绪 一 
致 的 刺激 相对 不 一 致 的 刺激 引发 杜 上 沟 (superior 
temporal sulcus，STS) 脑 区 的 Theta 振荡 增强 ,说 
明 双 通道 元 余 情绪 信息 引发 Theta 频带 同步 化 增 
强 , Theta 振荡 同步 化 受 高 级 认 知 皮层 调节 的 情绪 
增益 控制 (emotional gain control), 情绪 一 致 信息 对 
整合 加 工 的 促进 作用 (Symons, El-Deredy, Schwartze, 
& Kotz, 2010)。 
掉 孔 表情 和 声音 情绪 信息 整合 出 现在 早期 感 
知 皮 层 还 是 高 级 认 知 皮层 , Alpha 振荡 支持 哪 一 种 
观点 呢 ? Jessen 和 Kotz (2011) 的 研究 表明 ， 与 单 
通道 的 信息 相 比 , 情绪 一 致 的 面孔 表情 和 声音 信 
息 在 刺激 呈现 后 300~700 ms 间 ， 对 额 叶 Alpha 振 
荡 有 较 强 的 抑制 作用 ; 随后 在 一 项 情绪 识别 任务 
中 ,实验 条 件 分 别 是 : 视听 (auditory-visual, AV), 
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听觉 (A)、 视觉 (V), 采集 获得 脑 磁 图 数据 。 为 考察 
单 通 道 和 双 通 道 交 叉 整 合 ， 分 别 确定 了 AV > A 和 
AV > V 两 种 对 比 。 在 AV> A 对 比 中 , 观察 到 早期 
Alpha 振荡 仅 限 于 枕 部 ， 而 里 叶 皮 层 没 有 改变 ; 但 
在 AV > V 的 对 比 中 ,显示 只 有 在 里 叶 皮 层 Alpha 
振荡 增强 ,而 视觉 皮层 没有 变化 ,因此 ,在 感知 联 
合 皮层 没有 发 现 面孔 表情 和 声音 情绪 信息 整合 效 
应 。 相 反 , AV > A 和 AV > V 对 比 中 额 叶 Alpha 振 
荡 都 显著 增强 支持 了 面孔 表情 和 声音 情绪 信息 在 
高 级 认 知 皮层 中 整合 的 观点 (Chen et al., 2010)。 
但 是 , Schelenz 等 人 (2013) 的 研究 基于 同步 脑 
有 -功能 磁 共 振 成 像 (EEG-fMRD) 技 术 , 将 独立 脑 
有 成 分 的 时 间 过 程 与 血 流动 力学 响应 联系 起 来 ， 
视听 刺激 是 动态 愤怒 、 高 兴 和 中 性 面孔 /声音 , 包 
括 情绪 一 致 和 不 一 致 的 条 件 。 结 果 发 现 , 在 两 种 
条 件 下 , 在 面孔 表情 和 声音 情绪 刺激 呈现 后 
200~400 ms 和 400~700 ms 期 间 都 使 枕 区 Alpha 
振荡 同步 化 ; 但 在 早期 (200~400 ms) 的 时 间 窗 口 
内 ， 仅 在 情绪 一 致 的 条 件 下 ， 发 现 前 额 叶 皮 层 的 
Alpha 振荡 同步 化 增强 。 其 可 能 的 原因 是 , 在 早期 
知觉 自动 化 加 工 阶段 ， 双 通道 的 匈 余 信息 加 工 占 
用 较 少 的 认 知 资源 ; 也 可 能 是 基于 自 上 而 下 或 刺 
激 驱 动 (stimulus-driven) 的 注意 控制 ,对 有 意 注意 
的 选择 过 滤 机 制 的 依赖 较 少 ， 从 而 表现 出 显著 的 
促进 作用 。 这 种 促进 效应 不 仅 局 限于 前 额 区 ,也 
有 可 能 来 自 额 叶 内 侧 和 外 侧 评 佑 网 络 (Klasen et 
al.，2012)。 另 有 对 Alpha 振荡 同步 激活 的 研究 表 


x< 


与 单 通道 信息 相 比 ， 双 通道 情绪 信息 整合 引起 听 
tt XA STS 脑 区 Gamma 频段 相干 的 增加 ， 即 新 皮 
质 运 用 脑 区 间 的 交流 来 促进 双 通 道 信息 整合 
(Maier, Chandrasekaran, & Ghazanfar, 2008)。 使 用 
MEG 的 研究 发 现 , 与 情绪 不 一 致 的 刺激 相 比 情绪 
一 致 的 刺激 诱发 更 强 Gamma 振荡 。 首 先 在 
200~700 ms 的 时 间 窗 口内 在 右 侧 晒 上 回 (right 
superior temporal gyrus, STG) 激 活 ， 并 于 250~750 
ms ÆA mM p El (eft middle temporal gyrus, MTG) 
观察 到 最 高 峰值 ， 最 后 激活 扩散 至 左 侧 颗 上 
(left STG)， 对 多 个 区 域 之 间 同 时 记录 到 的 MEG 
信号 中 相同 节律 成 分 进行 相位 稳定 性 测量 发 现存 
在 正 相 关 (Hagan et al.，2013)。 这 一 过 程 中 表明 ， 
来 自 双 通 道 的 情绪 信息 会 发 生 时 间 性 耦合 ， 这 种 
耦合 会 引发 额 叶 调控 皮层 产生 相位 相关 的 高 频 同 
步 化 放电 。 也 就 说 Gamma 同步 化 振荡 实现 了 暂时 
性 的 功能 连接 ,从 而 促进 跨 通道 的 信息 整合 (Tang， 
Wu, & Shen, 2016)。 进 而 , Kumar, Kumar, Roy 和 
Banerjee (2018) 的 研究 提出 ， 额 叶 皮 层 区 Gamma 
振荡 功能 连接 增强 是 面孔 表情 和 声音 情绪 信息 整 
合 的 一 个 标志 。 

总 之 , 面孔 表情 和 声音 情绪 信息 的 整合 和 多 
频段 神经 振荡 有 关 。 且 面孔 表情 和 声音 一 致 的 情 
绪 信息 在 神经 振荡 指标 上 表现 出 显著 的 超 加 性 和 
Fig (25) 28 vz (Chen, Pan, et al., 2016; Hagan et al., 2009; 
Jessen & Kotz, 2011)。 在 面孔 表情 和 声音 整合 加 工 
的 研究 中 , Theta 振荡 能 区 分 情绪 和 中 性 面孔 并 且 


El 


明 视 觉 和 听觉 情绪 信息 的 整合 是 大 规模 的 动态 网 
络 , 不 是 简单 的 单一 视觉 网 络 和 听觉 网 络 相 加 (Ding, 
Li, Wang, & Luo, 2017; Fingelkurts, Fingelkurts, & 
Seppo, 2005; Jia, Peng, Li, Hua, & Zhao, 2012; 
Symons et al., 2016). 因此 , Alpha 振荡 是 一 种 间接 测 
量 皮 层 活动 的 方法 ,在 刺激 呈现 后 200~400 ms 和 
400~700 ms 期 间 ， 枕 叶 Alpha 振荡 同步 化 很 可 能 
表明 在 早期 感知 觉 皮层 和 晚期 高 级 认 知 皮层 上 都 


可 以 编码 情绪 刺激 。 相 比 于 单 通道 情绪 信息 加 工 ， 
双 通 道 情绪 刺激 同时 加 工时 , Theta 波段 在 STS 脑 
区 显著 增强 。Alpha 振荡 主要 是 在 视觉 成 分 的 研 
FE AIM, H. Alpha 同步 振荡 网 络 比 其 他 网 络 更 
密集 ， 是 因为 面孔 表情 被 用 作 视 觉 信息 处 理 的 运 
动 特征 ,说 明 视 觉 信息 是 视听 整合 的 关键 (Jia et 
al., 2012; Symons et al., 2016)。 在 诸如 杏仁 核 Bil 
上 沟 、 显 中 回 、 初 级 视觉 皮层 、 丘 脑 等 情绪 处 理 


对 情绪 信号 进行 有 效 处 理 , 感知 皮层 对 其 进行 感 
知 处 理 ， 高 级 认 知 皮层 进行 消除 情绪 刺激 歧义 等 
精细 加 工 ， 这 表明 面孔 表情 和 声音 情绪 信息 整合 


区 域 中 观察 到 Gamma 同步 振荡 (Jia et al., 2012; 
Jochen, Ingo, Hermann, Klaus, & Werner, 2005; Lin, 
Liu, Liu, & Gao, 2015)。 这 表明 多 个 皮层 Gamma 


最 主要 的 脑 机 制 可 能 是 参与 神经 元 间 的 时 间 同 步 
化 过 程 。 

另 有 Gamma 振荡 与 面孔 表情 和 声音 情绪 信 
息 的 多 层级 整合 加 工 密切 相关 (Gao et al., 2013; 
Tallon-Baudry & Bertrand，1999)。 已 有 研究 发 现 ， 


同步 化 振荡 ， 从 而 促进 跨 通道 的 信息 整合 ,可 能 
与 初级 视觉 皮层 的 Gamma 振荡 受到 了 矣 叶 皮 层 
的 调控 有 关 。 进一步 说 明 ， 多 个 脑 区 间 Gamma 振 
荡 的 相干 是 面孔 表情 和 声音 情绪 信息 整合 时 脑 区 
间 信 息 交 流 的 核心 模式 。 但 是 , 关于 面孔 表情 和 
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声音 情绪 信息 整合 在 神经 振荡 层面 如 何 整合 成 为 

一 致 的 情绪 客体 ,， 还 未 有 统一 认识 , 缺乏 系统 的 

研究 , 今后 需要 对 这 一 重要 问题 进行 深入 探讨 。 

3 ”面孔 表情 和 声音 情绪 信息 整合 的 fMRI 
研究 


元 群体 ”Cneuronal population), 是 由 分 散 的 单个 
感觉 神经 元 和 多 感觉 神经 元 组 成 ,而 多 感觉 神经 
元 可 能 在 情感 处 理 的 背景 下 整合 信息 。 此 外 , 情 
感 信 号 的 视听 整合 在 前 里 上 沟 (anterior STS) 达 到 
高 峰 ， 与 面部 和 声音 特异 区 重合 ,这 意味 着 在 面 
孔 表 情 和 声音 感知 加 工 过 程 中 ,潜在 的 声音 和 面 


利用 较 高 空间 分 辩 率 的 fMRI 技术 , PENA TE 
孔 表 情 和 声音 情绪 信息 在 哪里 整合 的 问题 。 进 一 
步 了 解 面 孔 表情 和 声音 情绪 信息 整合 所 涉及 的 高 
级 认 知 联合 皮层 以 及 高 级 认 知 联合 皮层 和 感知 皮 
层 之 间 的 交互 作用 方式 ， 且 通过 比较 单 通道 与 多 
通道 刺激 的 激活 脑 区 发 现 多 通道 刺激 的 加 工区 域 

非 是 各 个 单 通 道 刺激 加 工区 域 的 简单 麦 加 ( 张 
亮 等 , 2009)。 

来 自 神经 影像 的 研究 ,为 杜 叶 在 面孔 表情 和 
声音 情绪 信息 整合 加 工 中 进行 精细 编码 提供 了 支 
持 (Belyk, Brown, Lim, & Kotz, 2017; Delle-Vigne, 
Kornreich, Verbanck, & Campanella, 2015; Kreifelts et 
al., 2007; Kreifelts, Ethofer, Shiozawa, Grodd, & 
Wildgruber, 2009; Zhu & Beauchamp, 2017)。 其 中 ， 
STS 在 面孔 表情 和 声音 情绪 信息 整合 中 扮演 着 重 
要 角色 。 同 单 通道 刺激 相 比 ,面孔 表情 和 声音 情 
绪 刺 激 更 容易 引起 后 矣 上 沟 (posterior STS) 的 激 
活 (Robins, Hunyadi, & Schultz, 2009)。 随后 研究 将 
STS 的 功能 进行 了 细 化 。 例 如 ，STS 的 主干 部 分 
(the trunk sectiom 是 最 显著 的 声音 特异 区 , STS 后 
端 上 升 分 支 (the posterior terminal ascending branch) 
是 面孔 特异 区 , STS 的 分 又 处 (the bifurcation) 则 是 
面孔 表情 和 声音 整合 的 特异 区 (Kreifelts et al., 
2009)。 值 得 注意 的 是 ， 与 单 通道 情绪 刺激 相 比 ， 
双 通 道 的 情绪 刺激 激活 左 侧 后 里 上 沟 、 双 侧 后 里 
上 回 、STS 、MTG， 其 中 pSTG (posterior STG) 的 
激活 最 为 显著 (Kreifelts,Ethofer, Huberle, Grodd, 
& Wildgruber 2010)。 并 且 ， 当 被 试 完成 情绪 类 别 
判断 任务 时 ， 疏 惧 面孔 表情 和 声音 情绪 一 致 的 刺 
激 显 著 激 活 左 侧 pSTS (Ethofer, Anders, et al., 
2006)， 说 明 不 同 的 情绪 有 其 不 同 的 加 工 脑 区 。 但 
是 ， 当 面孔 表情 和 声音 情绪 信息 一 致 或 者 不 一 致 
时 都 有 STS 激活 ， 这 也 表明 不 同情 绪 类 型 的 面孔 
表情 和 声音 刺激 可 能 共享 同一 整合 神经 网 络 ， 巴 
孔 表情 和 声音 情绪 信息 发 生 自 动 化 整合 (Hagan et 
al., 2013; Symons et al., 2016)。 

这 些 研究 表明 ， 杜 叶 很 可 能 存在 一 个 “神经 


= 


部 特异 的 神经 元 群体 之 间 可 能 存在 相互 作用 
(Kreifelts et al., 2009)。 但 右 侧 pSTS 并 不 完全 是 
由 多 感知 神经 元 组 成 ,面孔 表情 和 声音 情绪 信息 
整合 效应 部 分 是 由 这 些 神经 元 介 导 的 。 所 以 ， 上 
述 研究 表明 洒 叶 皮层 是 面孔 表情 和 声音 情绪 信息 
进行 整合 的 重要 脑 区 ， 并 可 能 通过 反馈 回路 影 ? 
到 感觉 联合 皮层 及 初级 感觉 皮层 的 信息 整合 。 

Dolan, Morris 和 de Gelder (2001) 首 次 发 现 ， 
查 仁 核 是 面孔 表情 和 声音 情绪 信息 整合 的 关键 脑 
区 。 在 其 研究 中 ， 主 试 在 播放 快乐 或 妨 惧 声音 时 ， 
同时 呈现 快乐 或 恐惧 面孔 ,要求 被 试 忽略 声音 刺 
激 ， 仅 识别 面孔 表情 。fMRI 的 结果 显示 , RR 
孔 表 情 和 声音 刺激 更 多 激活 了 杏仁 核 (Park et al., 
2010)。Epperson, Amin, Ruparel, Gur 和 Loughead 
(2012) 的 研究 也 出 现 了 相同 的 结果 。 这 说 明 不 管 个 
体 注 意 的 重点 如 何 ， 面孔 表情 和 声音 情绪 信息 可 以 
自动 整合 (Doi & Shinohara, 2015)。 此 外 ,大 量 研究 
发 现 , 与 单 通道 面孔 刺激 相 比 ， 恐 惯 的 面孔 表情 和 
声音 情绪 刺激 显著 激活 了 右 侧 杏仁 核 , 快乐 的 面孔 
表情 和 声音 整合 激活 左 侧 杏仁 ， 说 明了 不 同情 绪 
类 型 的 面孔 表情 和 声音 有 不 同 的 加 工 脑 区 
(Armony & Dolan, 2000; Klasen et al., 2012; 
Pourtois, Thut, de Peralta, Michel, & Vuilleumier, 
2005)。 最 后 ， 相 比 情绪 性 面孔 表情 和 声音 整合 ， 
中 性 的 面孔 表情 和 声音 整合 活动 在 左 杏 仁 核 中 显著 
减弱 ， 这 表明 左 侧 杏 仁 核 进行 了 情绪 分 类 、 评 估 
等 精细 加 工 (Calvo, Beltran, & Fernandez-Martin, 
2014). 

与 单 通道 面孔 和 声音 刺激 相 比 ， 双 通道 面孔 
表情 和 声音 情绪 刺激 诱发 了 更 强 的 丘脑 活动 
(Kreifelts et al., 2007)。 随 后 的 研究 发 现 ， 与 不 一 
致 的 面孔 表情 和 声音 情绪 信息 相 比 , 一致 的 刺激 
导致 丘脑 的 显著 激活 (Klasen et al., 2011)。 这 一 结 
果 与 丘脑 在 处 理 情绪 性 相关 信息 的 作用 是 一 致 的 
(Kober et al., 2008)。 当 被 试 完成 情绪 分 类 任务 时 ， 
与 恐惧 面孔 表情 和 声音 刺激 相 比 ,快乐 面孔 声音 
信息 激活 左 侧 丘 脑 (Klasen et al., 2011)。 因此 ， 说 明 
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在 感觉 联合 皮层 区 域 ( 如 ,丘脑 ) 能 对 面孔 表情 和 声 
音 情绪 刺激 进行 编码 , 并 对 的 情绪 特征 进行 整合 。 
总 之 , 已 有 研究 确定 了 多 个 脑 功能 区 域 , 包括 
杜 叶 、 查 仁 核 、 丘 脑 、 梭 状 回 、 脑 岛 等 是 面孔 表情 
和 声音 情绪 信息 整合 中 心 (Klasen et al., 2012; 
Symons et al. 2016; Yaple, Vakhrushev, & Jolij, 
2016). 面孔 表情 和 声音 情绪 信息 整合 不 是 在 单一 大 
脑 皮 层 进行 ， 而 是 存在 多 脑 区 的 相互 作用 。 这 可 
能 是 因为 面孔 和 声音 情绪 信息 整合 需要 更 多 的 大 
脑 皮层 参与 ， 需 要 对 其 表达 的 复杂 信息 进行 精细 
编码 ， 以 适应 社会 交往 和 人 际 互动 的 需求 。 


4 总 结 以 及 展望 


综 上 所 述 , 关于 面孔 表情 和 声音 情绪 信息 整 
合 ,在 时 间 进 程 、 相 关 脑 区 以 及 如 何 整合 为 一 致 
的 情绪 客体 等 方面 已 取得 诸多 共识 。 即 面孔 表情 
和 声音 情绪 信息 在 视听 整合 过 程 的 多 个 阶段 、 多 
个 层级 和 多 个 脑 区 相互 作用 。 神 经 震荡 信号 变化 
遵循 整合 的 超 加 性 和 颠 倒 效 应 原则 ， 这 也 为 判断 
面孔 表情 和 声音 情绪 信息 整合 成 一 致 情绪 客体 提 
供 新 的 依据 。 首先 ,在 早期 自动 化 加 工 阶段 ， 听 觉 
和 视觉 感受 器 接收 到 面孔 表情 和 声音 情绪 信息 ， 
把 它们 传递 到 皮层 下 组 织 区 域 ， 然 后 向 前 把 情 
绪 信 息 传 递 给 初级 感觉 皮层 ， 同 时 进一步 向 前 传 
递 到 感觉 联合 皮层 区 域 (如 ， 丘脑 )。 在 此 阶段 , NI 
与 P2 反映 了 对 面孔 表情 和 声音 情绪 信息 在 呈现 
200 ms 内 能 自动 发 生 整合 ， 是 对 情绪 刺激 低 水 平 
的 视觉 特征 进行 加 工 ; 同时 , 来 自 双 通道 的 情绪 
言 息 常会 发 生 时 间 性 耦合 ， 这 种 耦合 会 引发 关联 
性 感觉 皮层 脑 区 和 接受 信号 的 感觉 联合 区 产生 相 
位 相关 的 高 频 同 步 化 放电 ,感觉 联合 皮层 的 神经 
振荡 同步 化 ,进而 使 情绪 信息 产生 交互 作用 。 傅 
绪 信 息 在 早期 感知 觉 皮层 激活 之 后 ,最 后 在 晚期 
时 间 窗 口内 ,进行 评估 “情绪 意义 ”等 精细 加 工 ， 
高 级 认 知 皮层 区 域 (如 ,， 额 叶 ) 对 所 有 进入 的 情绪 
信息 开始 初步 整合 ， 并 可 能 通过 反馈 机 制 影响 到 
感知 联合 皮层 及 初级 感觉 皮层 ,实现 进一步 的 跨 
区 域 信息 整合 ， 面 孔 表 情 和 声音 情绪 信息 整合 发 
生 了 质 的 变化 。 

同时 ， 未 来 研究 可 以 关注 以 下 几 个 方面 : 

首先 ， 明 确 面孔 表情 和 声音 情绪 性 信息 的 整 
合 效 应 是 否 与 情绪 一 致 性 存在 必然 关联 。 以 往 研 
究 表 明 ， 与 不 一 致 的 情感 信息 相 比 ， 只 注意 同一 


种 情绪 ， 面 孔 表情 和 声音 中 的 宛 余 信息 会 导致 更 
快 的 情感 分 类 (Calvo & Nummenmaa, 2016; 
Collignon et al., 2008; Focker et al., 2011; Klasen et 
al., 2012; Kumar et al., 2018; Muller et al., 2012), {A 
是 也 有 研究 表明 不 一 致 的 情绪 刺激 也 能 促进 面孔 
表情 和 声音 的 整合 加 工 。 例 如 ，Ethofer，Pourtois 
和 Wildgruber (2006) 要 求 被 试 忽略 声音 信息 ， 仅 
对 面孔 情绪 评分 , 结果 发 现 伴随 着 恕 惯 声 音 的 情 
况 下 ,更 易 把 中 性 面孔 的 判定 为 恐惧 面孔 ; Doi 和 
Shinohara (2015) 的 研究 在 呈现 恺 惧 的 面孔 表情 情 
况 下 ， 对 笑 声 的 识别 更 快 更 准确 。 这 些 研究 结果 
是 相 冲 突 的 。 基 于 这 些 发 现 ,面孔 表情 和 声音 情 
绪 信息 整合 是 否 与 情感 冲突 有 关 ? 如 果 有 关 ， 是 
否 意味 着 面孔 表情 和 声音 情绪 性 信息 的 整合 过 程 
是 多 个 独立 过 程 的 组 合 ， 其 中 一 些 过 程 容 易 受 到 
情绪 一 致 的 信息 调节 ， 而 另 一 些 则 可 能 受到 不 一 
致 的 情绪 信息 的 影响 呢 ? 这 些 问 题 都 需要 进一步 
研究 。 

其 次 , 深入 探究 神经 振荡 在 面孔 表情 和 声音 
情绪 信息 中 的 作用 。 虽 然 已 有 研究 发 现 同时 呈现 
恐 慢 或 厌恶 的 面孔 表情 和 声音 情绪 信息 时 ,在 
STS 区 出 现 Theta 和 Gamma 振荡 的 超 加 性 效应 
在 加 工 中 性 面孔 表情 和 声音 刺激 时 ， 不 会 出 现 该 
效应 (Hagan et al., 2009; Hagan et al., 2013)。 但 是 
Chen, Pan 等 人 (2016) 研 究 显 示 ,， 与 仅 呈 现 面孔 或 
声音 情绪 信息 相 比 ， 双 通道 的 情绪 信息 仅 诱发 
Theta 波段 的 超 加 性 效应 并 非 Gamma 波段 。 且 目 
前 研究 还 未 发 现 Alpha 振荡 的 这 种 超 加 性 效应 。 
所 以 , 关于 神经 振荡 在 面孔 表情 和 声音 情绪 整合 
中 的 作用 还 不 明确 , 仍 需 要 进一步 系统 探 明 面 孔 
表情 和 声音 情绪 信息 的 神经 振荡 的 相位 特征 以 及 
脑 区 间 神 经 振荡 的 相干 特征 。 
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Abstract: The integration of various emotional information from different modalities (e.g., face and voice) 
plays an important role in our interpersonal communication. In order to understand its brain mechanism, 
more and more researchers found that the interaction between facial expression and vocal emotional 
information begins in the early stage of perception, and the integration of emotional information content 
occurs in the late decision-making stage. In the early stage, the primary sensory cortex is responsible for 
encoding information; while in the late stage, the amygdala, temporal lobe and other advanced brain regions 
are responsible for cognitive evaluation. In addition, the functional coupling of oscillation activities on 
multiple frequency bands facilitates the integration of emotional information cross channels. Future research 
needs to explore whether facial expression and vocal emotional information integration is associated with 
emotional conflict, and whether inconsistent emotional information has advantages. Lastly, we should find 
out how the neural oscillations of different frequency bands promotes the integration of facial expression 
and vocal emotional information, so as to further understand its dynamic basis. 
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